790. Орлов А.И. Состоятельные критерии проверки абсолютной однородности независимых выборок. - Журнал «Заводская лаборатория. Диагностика материалов». 2012. Т.78. №11. С.66-70.

УДК 519.234
Наши консультации

Состоятельные критерии проверки абсолютной однородности 
независимых выборок
 
А.И. Орлов

Критериям проверки гипотезы абсолютной однородности двух независимых выборок посвящен ряд публикации в нашем журнале. Было установлено, что состоятельными являются только критерии Смирнова и Лемана – Розенблатта. В консультации даны алгоритмы расчетов и правила принятия решений для этих критериев. 

	Как и в предыдущих работах [1-3], примем следующую модель порождения данных. Элементы первой выборки x1, x2, ..., xm рассматриваем как результаты m независимых наблюдений некоторой числовой случайной величины Х с функцией распределения F(x), неизвестной статистику, а элементы второй выборки y1, y2, ..., yn - как результаты п независимых наблюдений, вообще говоря, другой случайной величины Y с функцией распределения G(x), также неизвестной статистику. Предполагается также, что наблюдения в одной выборке не зависят от наблюдений в другой, поэтому выборки и называют независимыми.
	Понятие «однородность», т. е. «отсутствие различия», может быть формализовано в терминах вероятностной модели различными способами. 	Наивысшая степень однородности (абсолютная однородность) достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза
H0 : F(x)=G(x) при всех х.
Отсутствие абсолютной однородности означает, что верна альтернативная гипотеза, согласно которой
H1 : F(x0)G(x0)
хотя бы при одном значении аргумента x0. Если гипотеза H0  принята, то выборки можно объединить в одну, если нет - то нельзя.
	В некоторых случаях целесообразно проверять не совпадение функций распределения, а лишь совпадение некоторых характеристик случайных величин Х и Y - математических ожиданий, медиан, дисперсий, коэффициентов вариации и др. [2, 3].
	В соответствии с методологией прикладной статистики естественно потребовать, чтобы рекомендуемый для массового использования статистический критерий абсолютной однородности был состоятельным, т.е. для любых отличных друг от друга функций распределения F(x) и G(x) (другими словами, при справедливости альтернативной гипотезы H1) вероятность отклонения гипотезы H0 должна стремиться к 1 при увеличении объемов выборок т и п. Из перечисленных в [1, 3] критериев однородности состоятельными являются только двухвыборочные критерии Смирнова и омега-квадрат (Лемана – Розенблатта). Проведенное в Институте высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана исследование мощности (методом статистических испытаний) критериев однородности (при различных вариантах функций распределения F(x) и G(x)) подтвердило преимущество критериев Смирнова и омега-квадрат и при малых объемах выборок 6 - 12. Однако этот вывод не был подкреплен алгоритмами расчетов и правилами принятия решений для указанных критериев. Этот пробел заполняется в настоящей статье.
	Критерий Смирнова однородности двух независимых выборок. Он был предложен членом-корреспондентом АН СССР Н.В. Смирновым в 1939 г. (см. [4]). Единственное ограничение - функции распределения F(x) и G(x) должны быть непрерывными. 
	Согласно Л.Н. Большеву и Н.В. Смирнову [4] значение эмпирической функции распределения в точке х равно доле результатов наблюдений в выборке, меньших х. Критерий Смирнова основан на использовании эмпирических функций распределения Fm(x) и Gn(x), построенных по первой и второй выборкам соответственно. Значение двухвыборочной статистики Смирнова

сравнивают с соответствующим критическим значением (см., например, [4]) и по результатам сравнения принимают или отклоняют гипотезу Н0 о совпадении (однородности) функций распределения. Практически значение двухвыборочной статистики Смирнова Dm,п рекомендуется согласно [4] вычислять по формулам
,	(1)
,	(2)
,		(3)
где x'1<x'2<…<x'm - элементы первой выборки x1, x2, … , xm, переставленные в порядке возрастания, а y'1 < y'2 < … < y'n  - элементы второй выборки y1, y2, … , yn , также переставленные в порядке возрастания. Поскольку функции распределения F(x) и G(x) предполагаются непрерывными, то вероятность совпадения каких-либо выборочных значений равна 0.
	Пример 1. Пусть, как и в [2], даны две выборки. Первая содержит m = 12 элементов 17; 22; 3; 5; 15; 2; 0; 7; 13; 97; 66; 14. Вторая содержит n = 14 элементов 47; 30; 2; 15; 1; 21; 25; 7; 44; 29; 33; 11; 6; 15. Проведем проверку однородности функций распределения двух выборок с помощью критерия Смирнова. 
	Переставим элементы первой выборки в в порядке возрастания: 0 < 2 < 3 < 5 < 7 < 13 < 14 < 15 < 17 < 22 < 66 < 97. Аналогично для второй выборки: 1 < 2 < 6 < 7 < 11 < 15 = 15 < 21 < 25 < 29 < 30 < 33 < 44 < 47. Точнее говоря, элементы переставлены в порядке неубывания, поскольку два элемента совпадают. С точки зрения теории вероятность совпадения двух элементов равна 0, но из-за неизбежных округлений эта вероятность положительна. Поскольку совпадений мало (как внутри одной выборки, так и для элементов разных выборок), то использование теории, основанной на нулевой вероятности совпадения элементов выборок, является допустимым.
	Расчет значений статистик  и  целесообразно проводить с помощью разработанных нами таблиц 1 и 2 соответственно.

Таблица 1
Расчет значения статистики 
№ 
п/п	Элементы выборок x	Номера выборок 	Fm(x)	r/n	r/n –
Fm(x)	Gn(x)		Gn(x)- 
(s-1)/m	
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)	(9)	
1	0	1	0			0	0	0	
2	1	2	0,083	0,071	-0,012	0			
3	2	1	0,083			0,071	0,083	-0,012	
4	2	2	0,083	0,143	0,06	0,071			
5	3	1	0,167			0,143	0,167	-0,024	
6	5	1	0,25			0,143	0,25	-0,107	
7	6	2	0,333	0,214	-0,119	0,143			
8	7	1	0,333			0,214	0,333	-0,119	
9	7	2	0,333	0,286	-0,047	0,214			
10	11	2	0,417	0,357	-0,06	0,286			
11	13	1	0,417			0,357	0,417	-0,06	
12	14	1	0,5			0,357	0,5	- 0,143	
13	15	1	0,583			0,357	0,583	-0,226	
14	15	2	0,583	0,429	-0,154	0,357			
15	15	2	0,583	0,5	-0,083	0,357			
16	17	1	0,667			0,5	0,667	-0,167	
17	21	2	0,75	0,571	-0,179	0,5			
18	22	1	0,75			0,571	0,75	-0,179	
19	25	2	0,833	0,643	-0,19	0,571			
20	29	2	0,833	0,714	-0,119	0,643			
21	30	2	0,833	0,786	-0,047	0,714			
22	33	2	0,833	0,857	0,024	0,786			
23	44	2	0,833	0,929	0,096	0,857			
24	47	2	0,833	1,0	0,167	0,929			
25	66	1	0,833			1,0	0,833	0,167	
26	97	1	0,917			1,0	0,917	0,083	

Таблица 2
Расчет значения статистики 
№ 
п/п	Элементы выборок x	Номера выборок 	Fm(x)	(r-1)/n	Fm(x) – 
(r-1)/n	Gn(x)	s/m	s/m –
 Gn(x) 	
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)	(9)	
1	0	1	0			0	0,083	0,083	
2	1	2	0,083	0	0,083	0			
3	2	1	0,083			0,071	0,167	0,096	
4	2	2	0,083	0,071	0,012	0,071			
5	3	1	0,167			0,143	0,25	0,107	
6	5	1	0,25			0,143	0,333	0,19	
7	6	2	0,333	0,143	0,19	0,143			
8	7	1	0,333			0,214	0,417	0,203	
9	7	2	0,333	0,214	0,119	0,214			
10	11	2	0,417	0,286	0,131	0,286			
11	13	1	0,417			0,357	0,5	0,143	
12	14	1	0,5			0,357	0,583	0,226	
13	15	1	0,583			0,357	0,667	0,31	
14	15	2	0,583	0,357	0,226	0,357			
15	15	2	0,583	0,429	0,154	0,357			
16	17	1	0,667			0,5	0,75	0,25	
17	21	2	0,75	0,5	0,25	0,5			
18	22	1	0,75			0,571	0,833	0,262	
19	25	2	0,833	0,571	0,262	0,571			
20	29	2	0,833	0,643	0,19	0,643			
21	30	2	0,833	0,714	0,119	0,714			
22	33	2	0,833	0,786	0,047	0,786			
23	44	2	0,833	0,857	-0,024	0,857			
24	47	2	0,833	0,929	-0,096	0,929			
25	66	1	0,833			1,0	0,917	-0,083	
26	97	1	0,917			1,0	1,0	0	

	Беря максимум по столбцу (6) табл.1, получаем, что . Таков же максимум и по столбцу (9), как и должно быть в соответствии с приведенным выше равенством. Максимум по столбцу (6) табл.2 равен 0,262, как и максимум по столбцу (9) той же таблицы. По формуле (3) значение двухвыборочной статистики Смирнова 
.
	В табл.6.5а справочника [4] приведены критические значения для двухвыборочной статистики Смирнова, соответствующие обычно используемым уровням значимости (табл.3). Поскольку полученное по статистическим данным значение меньше критического значения для уровня значимости  = 0,1, а потому и для всех остальных рассматриваемых уровней значимости, то нет оснований отклонять гипотезу однородности. Как и при использовании критерия Вилкоксона [2], эффект не обнаружен, нулевую гипотезу абсолютной однородности принимаем. 

Таблица 3
Критические значения и истинные уровни значимости
для двухвыборочной статистики Смирнова (m = 12, n = 14)
Номинальный уровень значимости	10%	5%	2%	1%	
Критическое значение (дробь)	39/84	43/84	47/84	52/84	
Критическое значение (десятичное число)	0,464	0,512	0,559	0,619	
Истинный уровень значимости	8,7	4,4	2,0	0,8	

	Разработаны алгоритмы и программы для ЭВМ, позволяющие рассчитывать точные распределения, процентные точки и достигаемый уровень значимости для двухвыборочной статистики Смирнова , разработаны подробные таблицы (см., например, разработанную под нашим руководством методику [5], содержащую описание алгоритмов, тексты программ и подробные таблицы).
	Однако у критерия Смирнова есть и недостатки. Его распределение сосредоточено в сравнительно небольшом числе точек. Ясно, что принимаемые этой статистикой значения пропорциональны величине 1/L, где L – наименьшее общее кратное объемов выборок m и n. Поэтому функция распределения растет большими скачками. Для рассматриваемого примера L – наименьшее общее кратное 12 и 14, т.е. 84. Следовательно, принимаемые статистикой Смирнова  входят в арифметическую прогрессию с шагом 1/84 = 0,012. Именно поэтому критические значения в сборнике [4] приведены в виде дроби с знаменателем L = 84. 
	Кроме того, не удается выдержать заданный уровень значимости. Реальный (другими словами, истинный) уровень значимости может значительно, даже в несколько раз отличаться от номинального (подробному обсуждению неклассического феномена существенного отличия реального уровня значимости от номинального посвящена работа [1]).
	При больших объемах выборок можно воспользоваться доказанной Н.В. Смирновым в 1939 г. теоремой: в случае совпадения непрерывных функций распределения элементов двух независимых выборок
,
где K(y) – функция распределения Колмогорова, заданная формулой 
.
	Поскольку согласно [4] квантиль порядка 0,9 функции распределения Колмогорова равна 1,224, то критическое значение двухвыборочной статистики Смирнова , соответствующее уровню значимости 10%, при больших объемах выборок имеет вид 
.
При m=12, n=14 эта формула дает 0,4815, в то время как точное значение равно 0,464 (см. табл.3). Видим, что приближение удовлетворительное, т.е. рассматриваемые объемы выборок (более 10 элементов) можно считать большими. Для построения правил принятия решений на основе значений двухвыборочной статистики Смирнова, соответствующих другим уровням значимости, можно воспользоваться небольшой табл.4 квантилей функции распределения Колмогорова, взятой из справочника [4].

Таблица 4
Квантили функции распределения Колмогорова
Величина a	0,8	0,9	0,95	0,98	0,99	
Квантиль порядка a	1,07275	1,22385	1,35810	1,51743	1,62762	

	Критерий типа омега-квадрат (Лемана-Розенблатта). Статистика критерия типа омега-квадрат для проверки однородности двух независимых выборок имеет вид:
A = Fm(x) – Gn(x))2 dHm+n(x) ,
где Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке. Легко видеть, что
Hm+n(x) = Fm(x) + Gn(x).
	Статистика A типа омега-квадрат была предложена Э. Леманом в 1951 г., изучена М. Розенблаттом в 1952 г., а затем и другими исследователями. Она зависит лишь от рангов элементов двух выборок в объединенной выборке. Пусть - первая выборка, - соответствующий вариационный ряд,  - вторая выборка, - вариационный ряд, соответствующий второй выборке. Поскольку функции распределения независимых выборок непрерывны, то с вероятностью 1 все выборочные значения различны, совпадения отсутствуют. Статистика А представляется в виде (см., например, [4]):

где ri - ранг x'i и sj  - ранг y'j  в общем вариационном ряду, построенном по объединенной выборке. 
	Расчет значения статистики А типа омега-квадрат (статистики Лемана-Розенблатта) по тем же данным, по которым были найдены значения статистик критериев Вилкоксона и Смирнова, представлен в разаработанной нами табл.5. Суммируя значения в столбце (6), получаем, что 
.
Аналогично получаем с помощью столбца (9), что
.
Следовательно,

Таблица 5
Расчет значения статистики А Лемана-Розенблатта
№ 
п/п	Элементы выборок x	Номера выборок 	i	ri - i	(ri - i)2	j	sj-j	(sj-j)2 	
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)	(9)	
1	0	1	1	0	0				
2	1	2				1	1	1	
3	2	1	2	1	1				
4	2	2				2	2	4	
5	3	1	3	2	4				
6	5	1	4	2	4				
7	6	2				3	4	16	
8	7	1	5	3	9				
9	7	2				4	5	25	
10	11	2				5	5	25	
11	13	1	6	5	25				
12	14	1	7	5	25				
13	15	1	8	5	25				
14	15	2				6	8	64	
15	15	2				7	8	64	
16	17	1	9	7	49				
17	21	2				8	9	81	
18	22	1	10	8	64				
19	25	2				9	10	100	
20	29	2				10	100	100	
21	30	2				11	10	100	
22	33	2				12	10	100	
23	44	2				13	10	100	
24	47	2				14	10	100	
25	66	1	11	14	196				
26	97	1	12	14	196				

	Известно [6], что 

(в обозначениях [4]), где a1(x) – предельная функция распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова), используемой для проверки согласия эмпирического распределения с заданным теоретическим.
	Квантили функции распределения a1(x) приведены в табл.6. Известно [4, 6], что в случае статистики Лемана-Розенблатта предельным распределением можно пользоваться и для выборок умеренного объема (5 и 7, 6 и 7, 7 и 7,8 и 8 и т.д.). Поскольку наблюдаемое значение А = 0,1621 меньше любого критического значения в табл.6, то гипотезу однородности двух рассматриваемых выборок следует принять.

Таблица 6
Квантили предельной функции распределения статистики омега-квадрат (Крамера-Мизеса-Смирнова)
Величина a	0,8	0,9	0,95	0,98	0,99	
Квантиль порядка a	0,245	0,347	0,461	0,620	0,743	

	Рекомендации по выбору критерия однородности. Для критерия типа омега-квадрат (Лемана-Розенблатта) нет выраженного эффекта различия между номинальными и реальными уровнями значимости. Поэтому мы рекомендуем для проверки абсолютной однородности функций распределения (гипотеза H0) применять статистику А типа омега-квадрат. Если методическое, табличное или программное обеспечение для статистики Лемана - Розенблатта отсутствует, рекомендуем использовать критерий Смирнова. 

Литература
1. Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез // Заводская лаборатория. 1986. Т.52. № 12. С.55-57.
2. Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? //Заводская лаборатория. 1999. Т.65. № 1. С.51-55.
3. Орлов А.И. О проверке однородности двух независимых выборок // Заводская лаборатория. 2003. Т.69. No.1. С.55-60.
4. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
5. Методика. Проверка однородности двух выборок параметров продукции при оценке ее технического уровня и качества. – М.: ВНИИ стандартизации, 1987. – 116 с.
6. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.